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摘 要 : 针对 当前 三 维 点 云 处 理 方法 在 玉米 植株 点 云 


类 和 局 部 特征 的 玉米 植株 点 云 雄 穗 分 割 方法 。 首 先 通过 边 连接 操作 建立 玉米 植株 点 云 无 向 图 ， 利 用 法 向 量 


Ph 识别 雄 穗 相 对 困难 的 问题 ， 提 出 一 种 基于 超 体 素 聚 


差异 计算 边 权 值 ， 并 采用 谱 聚 类 方法 将 植株 点 云 分 解 为 多 个 超 体 素 子 区 域 ; 随后 结合 主 成 分 分 析 方法 和 点 


云 直 线 特征 提取 植株 项 部 的 子 区 域 ; 最 后 利用 玉米 植株 点 云 的 平面 局 部 特征 在 顶部 子 区 域 中 识别 雄 穗 点 云 。 


对 3 种 点 云 密度 的 15 株 成 熟 期 玉米 植株 点 云 进行 测试 ， 
动 分 割 真 值 相 比 ， 当 点 云 密度 为 0.8、1.3 和 1.9 个 点 /em 


采用 F1 分 数 作 为 分 割 精度 判别 指标 ， 试 验 结果 与 手 
时 ， 雄 穗 点 云 分 割 的 平均 Fl 分 数 分 别 为 0.763、0.875 


和 0.889， 分 割 精 度 随 点 云 密度 增加 而 增高 。 结 果 表明 ， 本 研究 提出 的 基于 超 体 素 聚 类 和 局 部 特征 的 玉米 植 


株 点 云 雄 穗 分 割 方法 具备 在 玉米 植株 点 云 中 提取 雄 穗 自 
研究 和 应 用 提供 技术 支持 。 
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1 引言 


玉米 是 重要 粮食 作物 ， 其 产量 对 保障 全 球 粮 
食 供 应 至 关 重 要 "。 玉 米 雄 穗 相关 的 表 型 参数 是 
玉米 育种 的 重要 农艺 性 状 “”。 传 统 的 雄 穗 表 型 
参数 提取 方法 主要 是 人 工 测量 ， 方 法 效率 低 、 主 
观 性 强 、 破 坏 性 强 。 近 年 来 ， 计 算 机 视觉 技术 的 
发 展 为 作物 表 型 参数 的 自动 测量 提供 了 条 件 70. 


收 稿 日 期 : 2021-02-01 修订 日 期 : 2021-02-23 
基金 项 目 : 国家 自然 科学 基金 (31901399); 辽宁 省 重点 研发 计划 项 


local features[J]. Smart Agriculture, 2021, 3 (1): 75-85. 


SEF AE BY OU BRR IC BF FERE 
表 型 提取 中 。Gage 等 ”开发 了 一 种 基于 图 像 的 
玉米 雄 穗 表 型 分 析 系 统 ， 可 对 离 体 的 雄 穗 进行 标 
准 图 像 获取 ， 进 而 提取 穗 长 、 穗 宽 等 表 型 参数 。 
一 些 研究 工作 聚焦 于 在 玉米 植株 或 冠 层 图 像 中 识 
别 雄 穗 。Ye 等 “结合 方向 梯度 直方 图 特征 和 文 
持 向 量 机 分 类 器 对 雄 穗 区 域 进行 识 别 ， 再 采用 显 
著 性 检测 方法 实现 雄 穗 像素 分 割 。Kurtulmus 和 


目 (2019JH2/10200002) 
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Kavdr ”结合 颜色 特征 和 支持 向 量 机 分 类 器 进行 
雄 穗 定位 ， 并 采用 层次 聚 类 方法 实现 雄 穗 分 割 。 
Lu 等 "" 采用 多 个 角度 的 图 像 提 升 雄 穗 分 割 的 精 
度 ， 并 实现 了 对 雄 穗 颜色 、 分 支 数 等 参数 的 粗略 
测量 。Lu 等 "构建 了 雄 穗 识别 深度 学 习 网 络 
TasselNet， 实 现 了 在 玉米 冠 层 图 像 中 对 雄 穗 的 准 
确 计数 。 二 维 图 像 只 是 三 维 空间 的 一 个 投影 ， 利 
用 二 维 图 像 可 以 较 好 地 进行 雄 穗 计数 工作 ， 但 对 
穗 长 、 穗 宽 等 参数 的 提取 结果 并 不 准确 。 

随 着 三 维 激光 扫描 仪 “、 飞 行 时 间 相 机 "”， 
以 及 激光 雷达 "等 三 维 传 感 器 的 普及 ， 基 于 三 
维 点 云 的 视觉 技术 被 用 于 作物 表 型 研究 ， 如 作物 
种 类 识别 '"、 作 物 长 势 动 态 监控 "”、 冠 层 三 维 
重建 ， 以 及 各 类 表 型 参数 的 测量 “站 等 ,这 
些 人 研究 证 明了 从 三 维 空 间 提取 作物 表 型 具有 更 高 
的 准确 性 宕 ”。 但 是 ， 当 前 基于 三 维 点 云 的 玉米 
雄 穗 表 型 研究 仍然 较 少 。 韩 东 等 ”利用 立体 视 
觉 技 术 对 离 体 的 雄 穗 进行 三 维 点 云 重 建 ， 同 时 采 
用 基于 密度 的 聚 类 算法 对 雄 穗 进行 分 割 ， 进 而 提 
取 表 型 参数 。 

目前 ， 在 玉米 植株 或 群体 点 云 中 对 雄 穗 表 型 
参数 进行 提取 仍 具 挑战 ， 其 中 ， 对 雄 穗 点 云 的 准 
确 分 割 是 技术 难点 。 针 对 该 问题 ， 本 研究 提出 一 
种 基于 超 体 素 聚 类 和 局 部 特征 的 玉米 植株 点 云 雄 
穗 分 制 方法 ， 可 直接 在 玉米 植株 点 云 上 对 雄 穗 点 
云 进行 分 割 和 识别 ， 为 玉米 高 通 量 表 型 检测 = 
维 几 何 重建 等 研究 和 应 用 提供 技术 基础 。 


2 材料 与 方法 


2.1 试验 材料 与 点 云 数 据 获取 


田间 试验 于 2019 年 5 月 至 10 月 在 沈阳 农业 
大 学 玉米 试验 田 (116.169E, 39.569N) 进行 。 选 
取 种 植 行距 60 cm、 株距 25 cm 的 成 熟 期 玉米 植 
株 为 研究 对 象 ， 使 用 FreeScan X3 手 持 激光 扫描 
仪 进行 玉米 植株 三 维 点 云 获 取 。 将 田间 成 熟 期 玉 
米 植株 移植 到 盆 中 ， 并 转移 到 室内 进行 点 云 获 
取 。 由 于 FreeScan X3 激光 扫描 仪 需要 借助 激光 


感光 片 进行 三 维 定位 ， 因 此 ， 在 采集 数据 时 ， 先 
将 感光 片 粘 贴 在 辅助 支架 上 ， 并 将 支架 围 在 被 测 
植株 周围 ， 保 证 激光 线 能 同时 扫描 到 植株 和 感光 
片 ， 数 据 采 集 过 程 如 图 1 (a) 所 示 。 利 用 Cloud- 
Compare 软件 对 获取 的 原始 点 云 数据 进行 预 处 
理 ， 手 动 删 除 盆 、 移 动 文 架 的 点 云 数 据 ， 仅 保留 
玉米 植株 点 云 数据 。 

为 验证 本 研究 分 割 算法 对 不 同 密度 点 云 植株 
的 分 割 效 果 ， 选 取 15 株 不 同形 态 的 成 熟 期 玉米 
植株 点 云 作为 测试 样本 ， 每 个 玉米 植株 点 云 均 被 
采样 到 3 个 点 云 密度 (如 图 1 (b) )， 分 别 为 
0.8、1.3 和 1.9 个 /cm， 点 云 密 度 表示 每 厘米 存在 
多 少 个 点 ; 3 个 密度 的 植株 点 云 平均 数量 约 为 
6000、15,000 和 30,000 个 点 ， 雄 穗 点 云 平均 数量 
约 为 140、360 和 890 个 点 。 利 用 CloudCompare 
软件 对 被 测 玉米 植株 点 云 进 行 手动 分 割 获得 雄 穗 
点 云 的 分 割 真 值 。 


2.2 HERA EAE 


本 研究 方法 以 玉米 植株 散乱 点 云 为 输入 ， 通 
过 点 云 超 体 素 聚 类 、 植 株 顶 部 子 区 域 提 取 和 雄 穗 
点 云 识 别 3 个 主要 步 又 ， 实 现 对 雄 穗 点 云 的 识别 
Alay Fl s 
2.2.1 点 云 超 体 素 聚 类 

本 研究 首先 通过 点 云 超 体 素 聚 类 ， 将 植株 点 
云 分 解 为 多 个 点 云 子 区 域 ， 这 些 子 区 域 由 具有 几 
何 相似 性 的 局 部 区 域 点 云 整合 形成 ， 并 且 这 些 子 
区 域 较 好 地 保留 了 植株 点 云 器 官 间 的 边界 信息 ， 
便于 后 续 进 行 雄 穗 点 云 的 分 割 。 本 研究 采用 谱 聚 
类 算法 实现 点 云 超 体 素 聚 类 ， 假 设 输入 的 三 维 玉 
XASH P=\plizl, 2, =, nl, RMA, 
对 己 进 行 超 体 素 聚 类 的 具体 步骤 如 下 。 

(1) 边 连 接 操 作 。 对 P 中 的 所 有 点 均 进行 边 
连接 操作 形成 无 向 图 。 对 于 任意 一 点 p,， 首 先 通 
过 K 近邻 空间 搜索 方法 '“ 获得 P 中 与 点 pb, 欧式 
距离 最 小 的 k 个 近邻 点 ， 形 成 点 集 4,={al 记 1， 
2,°°, k, ae PI。 之 后 遍历 4, 中 的 所 有 点 ， 判 
断 每 个 点 是 否 能 与 p, 连 接 形成 边 。 如 果 4, 中 的 点 
aq 在 P 中 的 k 个 近邻 点 不 包含 p,， 则 p, 与 a 不 能 连 
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(a) 点 云 数据 采集 过 程 示 意图 


三 seme 2. 2 Em 3. 激 光 感 光 片 4. 辅 助 支架 5. 花 倪 6. 激 光线 7. 点 云 密度 为 0.8 的 植株 点 云 8. 点 云 密 度 为 1.3 的 植株 


9.; 
云 密度 vei MANU 少 个 点 ,单位 为 < 个 lommr 


图 1 点 云 数据 获取 和 预 处 理 


Fig.1 Point cloud data acquisition and preprocessing 


接 成 边 ; 反之 则 可 连接 形成 1 条 边 ， 且 该 边 的 权 
重 值 e 通 过 公式 (D) 进行 计算 : 
0; = acos (n,-n,) 
0.1 0: 

uen t 

KEP, m. nb RRA ph a PADI I] 
Ht; 0, 为 n 和 nn 之 间 的 夹 角 ，rad。 本 研究 利用 点 
云 处 理 库 (Point Cloud Library, PCL) “中 的 法 
向 量 估算 模块 计算 点 云 法 向 量 。 该 模块 首先 采用 
主 成 分 分 析 法 CU 估算 法 向 量 ， 初 始 的 法 向 量 存 
在 定向 不 一 致 的 问题 ， 导 致 相 邻 点 云 的 法 向 量 方 
向 可 能 相反 ;该 模块 通过 视点 位 置 对 法 向 量 方向 
进行 调整 ， 给 定 一 个 视点 三 维 坐 标 ， 调 整 所 有 点 
云 法 向 量 的 朝向 ， 使 其 均 指 向 视点 方向 。 

(2) 构建 归 一 化 拉 普 拉 斯 矩阵 。 构 建 植株 点 
云 P 的 邻接 矩阵 W, TAREE nxn 大 小 的 方 阵 ， 
其 第 i 行 、k 列 的 矩阵 元 素 wi 表示 点 p; 与 p 之 间 的 
连接 关系 ， 如 果 p 与 p, 之 间 无 边 连 接 ， 则 w=0; 
如 果 p, 与 pi 之 间 有 边 连 接 ， 则 wi 等 于 该 边 的 权重 
(Eo Æ nxn KIRE REED, BEER i T. k 
FEAR EJERE d HAT (2) 计算 。 


" 2". i-k (2) 
0 i*k 
从 公式 (2) 中 可 以 看 出 ， 度 和 矩阵 九 的 对 角 
线 元 素 为 非 0 值 ， 其 余 元 素 均 为 0。 得 到 邻接 和 矩 
阵 开 和 度 和 矩阵 DD 之 后 ， 通 过 公式 (3) 计算 归 一 
Abb REEL 


l x(D-W)x 
D 


L= (3) 


(3) 点 云 聚 类 。 采 用 奇异 值 分 解 方 法 计算 归 
一 化 拉 普 拉 斯 矩阵 工 的 特征 值 和 特征 向 量 ， 并 选 
出 最 小 的 K 个 特征 值 对 应 的 特征 向 量 u， Ci =1, 
2, …, K)， 每 个 特征 向 量 均 为 n 维 列 向 量 ,，K 
为 用 户 输入 的 类 别 数量 参数 ， 本 研究 设 K=80。 
将 上 述 K 个 特征 向 量 组 合成 axK 大 小 的 特征 算 阵 
五 =[ ww … 本] ， 并 将 下 按 行 标准 化 。 如 
AE FP AY BES K EFT I8] BA ME 1 个 数据 样本 ， 
M FERREA nt. JH K-means 38 
类 方法 将 这 个 数据 样本 分 为 K 个 类 别 ， 其 中 第 i 
个 数据 的 类 别 即 为 植株 点 云 P 中 第 i 个 点 pb, 的 类 
别 。 最 后 将 类 别 相同 的 点 划分 为 同一 子 区 域 ， 则 
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植株 点 云 最 终 被 划分 为 K 个 子 区 域 点 集 。 用 符号 
@ 表 示 子 区 域 点 集 ， 第 mm 个 子 区 域 用 符号 (m 
=1, 2, =, K) 表示 。 本 研究 以 点 云 法 向 量 作 
为 特征 ， 将 法 向 量 相似 的 邻近 点 云 聚 类 成 同一 子 
区 域 。 

不 同 株 型 植株 的 点 云 超 体 素 肾 类 结果 如 图 2 
所 示 ， 从 图 中 可 以 看 出 ， 植 株 的 每 个 器 官 均 被 分 
解 成 多 个 边界 光滑 的 子 区 域 ， 且 每 个 子 区 域 的 整 
体形 态 相 对 简单 ， 便 于 用 简单 的 几何 特征 进行 表 
示 和 识别 。 例 如 ， 叶 片上 的 子 区 域 近似 平面 ， 葵 
上 的 子 区 域 近 似 圆 柱 。 但 在 个 别 器 官 交 界 处 的 位 
置 ， 会 存在 分 属 不 同 器 官 的 点 云 被 误 划 分 为 同一 
子 区 域 的 现象 ， 如 部 分 叶 领 点 云 与 茎 形成 同一 子 
区 域 、 部 分 雄 穗 点 云 与 顶端 叶片 形成 同一 子 
区 域 。 


注 : 不 同 子 区 域 的 点 云 采用 不 同 颜 色 进 行 表示 
图 2 不 同 株 型 植株 的 点 云 超 体 素 聚 类 可 视 化 图 
Fig.2 Visualization of point cloud super voxels clustering 


for different plant types 


2.2.2 ”植株 顶部 子 区 域 提 取 

雄 穗 位 于 玉米 植株 的 项 部 区 域 ， 因此， 可 通 
过 点 云 在 植株 中 的 相对 位 置 对 雄 穗 点 云 进行 大 体 
定位 。 一 些 研究 利用 深度 相机 获取 植株 点 云 数 
据 3" ， 在 数据 获取 时 可 通过 调整 相机 位 置 使 杆 
株 点 云 所 在 坐标 系 的 某 个 坐标 轴 与 玉米 植株 的 生 
长 方向 重合 ， 从 而 通过 点 云 坐标 值 即 可 初步 对 植 
株 顶 部 的 子 区 域 进行 识别 。 但 利用 手持 激光 三 维 


于 散乱 点 云 ， 其 与 所 在 空间 坐标 系 坐 标 轴 之 间 的 
相对 位 置 是 随机 的 ， 因 此 增 大 了 对 植株 顶部 区 域 
的 提取 难度 。 本 研究 采用 如 下 步骤 对 植株 项 部 区 
域 进 行 定 位 。 

(1) 拟 合 植株 点 云 的 主 成 分 向 量 。 采 用 主 成 
分 分 析 法 提取 植株 点 云 忆 的 主 成 分 方向 。 首 先 求 
植株 的 中 心 点 p.o 


1 n 
p= DP (4) 
之 后 利用 公式 C) 构建 协 方差 矩阵 C。 

1 n 
c--Mp-r)*G c PY (5) 


HB. EME CON 3x3 对 称 实 方 阵 。 

采用 奇异 值 分 解 算 法 对 C 进 行 特征 值 分 解 ， 
得 到 3 个 非 负 特征 值 人 、 A. 2, (214,24) 以 及 
Xa 34 BREITE. L. L« FEDE L. 
工分 别 为 植株 点 云 的 第 1 、2、3 主 成 分 向 量 。 

(2) 提取 候选 的 项 部 子 区 域 集合 。 以 植株 点 
云 第 1 主 成 分 向 量 石 为 方向 向 量 ， 过 植株 中 心 点 
p. 的 直线 参数 方程 L (t) A: 


L(t) 7 Ht * p, (6) 

利用 公式 (7) 计算 P 中 每 个 点 p, 在 直线 
L (t) 上 的 投影 坐标 如 

t ^ (p,- p.d, (7) 


找到 所 有 点 投影 坐标 的 最 大 值 t AME t, 
之 后 利用 公式 (8) 和 公式 (9) 3ESE 2 P EHE t 
和 用 于 提取 植株 两 端 区 域 的 点 云 。 

t, = 0.9t, + 0.1t, (8) 

t, = 0.9t, + 0.1f, (9) 

定义 子 区 域 集 合 AV,, FAR oF 
区 域 。 如 果子 区 域 中 存在 投影 坐标 > 的 点 云 ， 
则 将 该 子 区 域 加 入 集合 态 。 如 果子 区 域 中 存在 投 
影 坐 标 < 的 点 云 ， 则 将 该 子 区 域 加 入 集合 态 。 扎 
和 态 均 为 候选 的 植株 顶部 子 区 域 集 合 ， 表 示 
玉米 植株 的 两 端 ， 其 中 一 个 为 植株 底部 区 域 ， 
另 一 个 为 顶部 区 域 。 提 取 候 选 顶部 区 域 的 过 程 如 
图 3 (a) 所 示 。 

(3) 识别 顶部 子 区 域 。 成 熟 期 玉米 植株 底部 


扫描 仪 、 多 角度 图 像 重 建 方法 获取 的 点 云 数据 属 


区 域 的 茎 为 圆柱 形 ， 具 有 较 明显 的 直线 线性 特 
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| 0.55 


(b) 子 区 域 的 直线 线性 特征 


(a) 提 取 候 选 顶部 区 域 
示意 图 热力 图 
注 :1. 投 影 坐 标 为 的 投影 点 2. 候 选 子 区 域 集 合 卫 3. 投 影 坐 标 
为 的 投影 点 4. 直线 L(1) 5. 投 影 坐 标 为 4 的 投影 点 6. 子 区 域 集 
4 V, 7. 投 影 华 标 为 4 的 投影 点 
图 3 植株 顶部 子 区 域 提取 


Fig. 3 Sub-region extraction at the top of the plant 


征 。 与 之 相反 ， 植 株 顶 部 区 域 包含 了 雄 德 ， 呈现 
一 定 的 扫 帅 状 ， 直 线 线 性 特征 较 弱 。 基 于 上 述 特 
点 ， 本 研究 通过 计算 子 区 域 中 点 云 的 直线 线性 特 
征 从 态 和 态 中 选 出 顶部 子 区 域 集 合 。 

定义 1 个 子 区 域 点 集 的 直线 线性 特征 为 集合 
内 每 个 点 的 直线 线性 特征 的 平均 值 。 为 计算 子 区 
域 点 集 9 中 一 点 p 的 直线 线性 特征 ， 首 先 在 中 
查找 与 p 点 距离 小 于 7 的 所 有 点 ,组 成 点 集 B,。 
其 中 六 为 用 户 可 调节 参数 ， 本 研究 设 mn=10 cm; 
之 后 采用 主 成 分 分 析 法 ， 计 算 刀 点 集 的 3 个 特征 
[BA A. A, (Xz4z4)， 则 p 点 的 直线 线性 特征 
fi 通过 公式 (10) 计算 。 

PES A 

i= — (10) 

利用 上 述 方法 分 别 计算 V... VP BER T DC, 
的 直线 线性 特征 ， 并 求 让 中 所 有 子 区 域 直 线 线 性 
特征 的 平均 值 久 以 及 有 态 中 所 有 子 区 域 直 线 线性 特 
征 的 平均 值 f,， 比 较 , 和 ,的 大 小 ， 较 小 值 对 应 
的 子 区 域 集合 为 植株 顶部 区 域 ， 较 大 值 对 应 的 区 


域 集 合 为 植株 底部 区 域 。 态 、 肪 集合 的 子 区 域 直 
线 线性 特征 热力 图 如 图 3 (b) 所 示 ， 从 图 中 可 以 
看 出 ， 顶 部 区 域 的 雄 穗 子 区 域 具有 非常 小 的 直线 
线性 特征 值 ， 导 致 该 候选 区 域 的 直线 线性 特征 的 
平均 值 大 幅度 降低 。 而 茎 则 具有 较 大 的 直线 线性 
特征 值 ， 从 而 使 底部 区 域 的 特征 值 保持 在 较 高 的 
数值 。 

2.2.3 BABA Sl 

上 节 提 取 的 顶部 子 区 域 集合 (图 4 (a) ) 包 
含 了 3 类 子 区 域 , 分 别 为 只 包含 雄 穗 点 的 雄 穗 子 
区 域 、 只 包含 叶片 点 的 叶片 子 区 域 以 及 同时 包含 
雄 穗 点 和 叶片 点 的 混合 子 区 域 。 为 实现 雄 穗 点 云 
的 精确 分 割 ， 需 要 在 顶部 区 域 中 识别 出 雄 穗 子 区 
域 ， 并 在 混合 子 区 域 中 识别 出 雄 穗 点 云 。 由 于 叶 
片 比 雄 穗 具有 更 明显 的 平面 特征 ， 因 此 本 研究 通 
过 子 区 域内 点 云 的 平面 特征 来 识别 雄 穗 点 云 和 叶 
片 点 云 ， 具体 步骤 如 下 。 

(1) 提取 子 区 域内 点 云 的 平面 特征 。 为 计算 
子 区域 点 集 G@ 中 一 点 p 的 平面 特征 ， 在 9 中 找到 
与 p 点 距离 小 于 ,的 所 有 点 ， 组 成 点 集 8,， 其 中 
记 为 用 户 可 调节 参数 ;之 后 计算 8B 点 集 的 3 个 特 
PEA, Ay. 4, (A,2A2A,), M p 点 的 平面 特征 
f (p) 通过 公式 (11) 计算 。 

so) C ap 

子 区 域 点 集 乡 的 平面 特征 上 六 (9) 为 集合 内 
每 个 点 的 平面 特征 的 平均 值 。 植 株 顶部 点 云 平面 
特征 的 热力 图 如 图 4 (b) 所 示 ， 特 征 值 越 大 ， 表 
示 平 面 特征 越 弱 。 

(2) 点 云 分 类 。 计 算 所 有 子 区 域 平面 特征 的 
平均 值 六 和 方差 %。 如 果子 区 域 平 面 特征 > 户 ， 则 
该 子 区 域 被 分 类 为 叶片 子 区 域 ; 如 果子 区 域 平 面 
特征 < 万 ， 则 该 子 区 域 被 分 类 为 雄 穗 子 区 域 ， 其 
内 点 云 被 分 类 成 雄 穗 点 ;如 果子 区 域 的 平面 特征 
f, (0) THEA <A f 0.55,， 则 该 区 域 为 混 
合子 区 域 。 在 混合 子 区 域 中 ， 将 点 云 平面 特征 户 
(p) 小 于 的 点 分 类 成 雄 穗 点 云 。 点 云 分 类 过 程 
如 图 4 (c) 所 示 。 
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(d) 本 研究 雄 穗 分 割 结果 


(e) 雄 穗 分 割 真 值 


注 :1. 叶 片 点 云 远 多 于 雄 穗 点 云 的 混合 子 区 域 2. 叶 片 点 云 与 雄 
穗 点 云 个 数 相近 的 混合 子 区 域 3. 被 分 类 为 叶片 子 区 域 的 子 区 域 
4. 被 分 类 为 混合 子 区 域 的 子 区 域 5. 被 分 类 为 雄 穗 子 区 域 的 子 区 
域 6. 在 混合 子 区 域 中 识别 出 的 雄 穗 点 
图 4 雄 穗 点 云 识别 示意 图 
Fig. 4 Schematic diagram of the tassel point cloud 
recognition 
(3) 去 品 。 在 混合 子 区 域 中 ， 叶 片 边缘 的 点 
云 的 平面 特征 也 较 小 ， 因 此 在 分 类 时 容易 被 分 类 
成 雄 穗 点 。 但 通常 情况 下 ， 这 些 误 分 的 点 与 整个 
雄 穗 点 云 的 距离 较 远 ， 因 此 本 研究 采用 基于 统计 
分 析 的 点 云 去 噪 方法 ” 从 雄 穗 点 云 中 排除 这 些 
误 分 点 。 


最 终 雄 穗 分 割 的 结果 和 真 值 的 结果 分 别 如 
图 4 (d) 和 4 (e) 所 示 。 从 图 中 可 以 看 出 ， 本 
研究 方法 分 割 出 了 大 部 分 的 雄 穗 点 云 。 但 是 ,本 
研究 的 点 云 分 类 方法 存在 对 子 区 域 类 别 的 误 识 别 
现象 ， 从 而 降低 雄 穗 点 云 的 分 割 精度 。 例 如 ， 图 
4 (a) 中 的 子 区 域 1 为 混合 子 区域 , 但 其 内 部 叶 
片 点 云 要 远 多 于 雄 穗 点 云 ， 因 此 该 子 区 域 平面 特 
征 值 更 多 地 体现 了 叶片 点 云 的 特征 ， 导 致 该 子 区 
域 被 误 分 类 为 叶片 子 区 域 ,使 得 最 终 的 分 割 结果 
会 缺失 该 子 区 域内 的 雄 穗 点 。 图 4 (a) 中 的 混合 
子 区 域 2， 其 内 部 叶片 点 云 和 雄 穗 点 云 之 间 的 数 
量 相 近 ， 因 此 可 通过 平面 特征 值 正确 识别 子 区 域 
类 别 ， 进 而 识别 出 该 子 区 域内 的 多 数 雄 穗 点 云 。 


2.3 分 割 精度 评估 


本 人 研究 使 用 精确 度 (Precision) , A [al 
(Recall) 、F1 分 数 (F1 score) 对 分 割 精度 进行 
评 佑 。 对 于 雄 穗 点 云 ， 用 7, 表示 属于 雄 穗 的 点 云 
被 正确 分 制 为 雄 德 的 点 数量 ， 用 五, 表示 不 属于 雄 
穗 的 点 云 被 误 分 割 成 雄 穗 的 点 数量 ， 用 及 表示 属 
于 雄 穗 的 点 云 被 误 分 割 为 其 他 器 官 点 云集 合 的 点 
数量 ， 则 精确 度 、 召 回 率 和 Fl 分 数 的 计算 如 公 
X (12) ~ (14) 所 示 。 


T 
Pu (12) 
T, +F, 
T 
R,- z (13) 
T, + Fy 
P, +R, 
F,-2x (14) 
P, +R, 


其 中 ， 书 表示 精确 度 ; R. 表 示 召 回 率 ; FK 
AED 分 数 。 一 般 来 说 ， 分 割 精 确 度 和 召回 率 之 
a) EAP JEU, BE aS Ae A F1 分 数 来 对 分 割 算法 
效果 进行 综合 考量 ， 越 高 的 Fl 分 数 说 明 分 割 效 
果 越 好 。 


3 结果 与 分 析 


3.1 分 割 效 率 和 精度 


在 配置 为 2.2 GHZ CPU, DDR32 G 内存 的 笔 
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记 本 工作 站 上 进行 了 算法 测试 。 本 研究 在 进行 点 表 1 算法 运行 时 间 
云 超 体 素 聚 类 时 ， 利 用 奇异 值 分 解 方法 对 mxm 大 Table 1 Algorithm running time 
小 的 归 一 化 拉 普 拉 斯 矩阵 进行 特征 向 量 分 解 ， 导 点 去 密度 / HAAS ”植株 项 部 子 雄 穗 点 云 识别 平均 总 运 
致 整个 算法 的 时 间 复 杂 度 达到 O (mw)。 因 此 随 着 。 (个 .om-') PE PORSURT PREN 行 时 间 A 

- uu M na a 行 时 间 /s 均 运行 时 间 /s M/s 
点 云 密度 和 点 云 数量 的 增长 ， 算 法 的 运行 时 间 会 
GENI. se eae Ga. MS 0.8 1.58 0.53 0.15 2.26 
PARIM AADI 0.8 Temi, MANE 13 4.61 1.77 0.47 6.85 
米 植株 点 云 个 数 平均 在 6000 个 左右 ， 此 时 算法 1.9 17.78 8.11 1.48 27.37 


的 平均 总 运行 时 间 为 2.26 s; 点 云 密 度 为 1.3 个 /cm 
时 ， 植 株 点 云 数量 平均 约 为 13,000， 平 均 总 运行 
时 间 为 6.85 s; 当 点 云 密度 增 大 到 1.9 个 /cm 时， 
植株 平均 点 云 数量 增加 到 30,000 个 左右 ， 此 时 算 
法 的 总 运行 时 间 增 长 到 27.37 s。 本 研究 方法 的 具 
体 运行 时 间 如 表 1 所 示 。 

本 人 研究 算法 的 分 割 精度 如 表 2 所 示 。 点 云 密 
度 为 0.8 个 /cm 时 ， 雄 穗 的 平均 Fl 分 数 、 平 均 精 


确 率 和 平均 召回 率 分 别 为 0.763、0.746 和 0.832; 
点 云 密度 为 13 时 ， 上 述 3 个 指标 分 别 为 0.875、 
0.898 和 0.867; 点 云 密度 为 1.9 个 /cm 时 ，3 个 分 
制 指标 分 别 为 0.889、0.950 和 0.849。 从 Fl 分数 指 
标 可 以 看 出 ， 随 着 点 云 密度 增加 ， 本 研究 的 分 割 
精度 逐渐 增加 ， 但 点 云 密度 1.3 个 /cm 和 1.9 个 /cm 
之 间 的 分 割 效果 差距 不 大 。 


R2 BD Bae 


Table 2 The accuracy of tassel segmentation 


_ FI 分 数 精确 率 召回 率 
点 云 密度 /( 个 .cm-0) - Ta - — UR m A - - 
最 小 值 平均 值 最 大 值 最 小 值 平均 值 最 大 值 最 小 值 平均 值 最 大 值 
0.8 0.531 0.763 0.911 0.370 0.746 0.993 0.607 0.832 1.000 
1.3 0.714 0.875 0.976 0.568 0.898 1.000 0.613 0.867 1.000 
1.9 0.737 0.889 0.998 0.802 0.950 1.000 0.584 0.849 1.000 


点 云 密度 和 点 云 个 数 的 增加 ， 主 要 影响 雄 穗 
分 割 步 又 中 的 点 云 平面 特征 计算 结果 。 当 点 云 个 
数 较 少时 ， 顶 部 叶片 点 云 也 相对 稀疏 ， 叶 片 点 的 
平面 特征 和 雄 穗 点 的 平面 特征 差距 不 明显 ， 造 成 
点 云 类 别 误 判 的 情况 增 大 ,分割 出 的 雄 穗 点 云 中 
包含 较 多 叶片 点 云 ， 分割 精确 度 不 高 ; 当 点 云 个 
数 增加 时 ， 叶 片 点 云 的 平面 特征 更 加 明显 ， 因 
此 ， 雄 穗 点 和 叶片 点 的 区 分 度 加 大 ， 分 割 出 的 雄 
穗 点 云 中 包含 的 叶片 点 云 减少 ， 分 制 精确 度 显著 
提高 。 从 表 1 的 精确 度 指标 可 以 看 出 ， 随 着 点 云 
密度 的 增 大 ， 精 确 度 显 著 提高 ， 而 召回 率 则 变化 
不 大 ，F1 分 数 的 增长 主要 来 自 于 精确 度 的 增加 。 

点 云 密度 为 1.9 个 /cm 的 玉米 植株 雄 穗 分 割 可 
视 化 结果 和 了 1 分 数 如 图 5 所 示 。 从 图 中 可 以 看 
出 ， 大 多 数 测试 样本 均 出 现 了 雄 穗 分 制 不 完整 的 
情况 ， 这 说 明 本 研究 方法 存在 欠 分 割 问 题 。 当 雄 
穗 完全 高 于 顶部 叶片 或 与 叶片 距离 较 远 时 ， 本 人 研 


究 方法 分 制 精度 非常 高 (如 图 5 (m) ~ 图 5 (o) ); 
与 之 相反 ， 当 雄 穗 被 叶片 包 右 住 或 距离 较 近 时 
(如 图 5 (a) ~ 图 5(c) ), 分 割 精度 较 低 。 造 成 
这 种 现象 的 原因 是 ， 如 果 雄 穗 与 叶片 距离 较 近 ， 
两 者 之 间 的 边界 点 云 的 法 向 量 和 平面 局 部 特征 非 
常 相 似 ， 难 以 通过 点 云 超 体 素 聚 类 以 及 平面 特征 
进行 准确 分 割 。 


3.2 算法 参数 


影响 本 研究 算法 的 参数 主要 为 点 云 超 体 素 聚 
类 步骤 中 的 天 参数 、 植 株 项 部 子 区 域 提取 中 的 mn 
参数 和 雄 穗 点 云 识别 中 的 x 参数。K 参 数 会 影响 
点 云 超 体 素 聚 类 得 到 的 子 区 域 个 数 ,，K 值 越 大 ， 
子 区 域 个 数 越 大 。 本 人 研究 在 后 续 植 株 项 部 子 区 域 
提取 和 雄 穗 点 云 识 别 操作 中 ， 均 以 子 区 域 作为 点 
云集 合 ， 计 算 点 的 直线 线性 特征 和 平面 特征 。K 
值 越 小 ， 每 个 带 官 被 分 成 的 子 区 域 个 数 越 少 ， 每 
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(h)F1 分 


(k)F1 分 数 =0.946 (DEF1 分 数 =0.951 


数 二 0.884 (j)F1 分 数 =0.906 


(m)F1 分 数 =0.958 (n)F1 分 数 =0.995 


注 :图 中 雄 穗 点 云 用 红色 表示 , 非 雄 穗 点 云 用 黑色 表示 。 每 个 子 图 的 左 侧 为 手动 分 割 的 真 值 , 右 侧 为 本 研究 方法 分 割 结果 
图 5 不 同 F1 分 数 的 雄 穗 分 割 可 视 化 结果 


Fig. 5 Visualization results of tassel segmentation with different F1 score 


个 子 区 包含 多 个 器 官 点 云 的 概率 会 增 大 ， 造 成 直 
线 线 性 特征 和 平面 特征 对 茎 、 叶 片 、 雄 穗 点 的 区 
别 度 下 降 ， 降 低 分 割 精 度 。 但 天 值 越 大 ， 超 体 素 
聚 类 的 计算 时 间 会 显著 增加 。 本 研究 中 ， 通 过 试 
验 确定 参数 K=80， 该 值 对 于 不 同 株 型 、 不 同 密 
度 的 玉米 成 熟 期 点 云 均 适 用 ， 可 将 每 个 器 官 分 解 
成 多 个 边界 光滑 且 形 态 简单 的 子 区 域 ， 便 于 利用 
直线 线性 特征 和 平面 特征 对 点 云 类 别 进行 判断 。 

方 参数 会 影响 点 的 直线 线性 特征 计算 结果 。 
如 果 z 值 较 小 ， 底 部 子 区 域 茎 点 云 在 计算 一 个 点 
的 直线 特征 时 ， 搜 索 得 到 的 邻 域 点 仅 包 含 茎 圆柱 
面 上 的 一 个 侧面 ， 使 计算 得 到 的 直线 特征 值 减 
少 。 相 反 ,，r 值 越 大 ， 茎 点 云 的 直线 特征 值 越 
大 ， 底 部 子 区 域 和 顶部 子 区 域 的 直线 特征 对 比 越 
明显 ,但 过 大 的 x 值 会 增多 邻 域 点 个 数 ， 降 低 特 
征 值 的 计算 效率 。 本 研究 设 m=10.0 cm, HIT 
米 葵 的 直径 通常 不 会 大 于 10.0 cm， 因 此 该 值 可 
以 使 每 个 茎 点 的 邻 域 点 集合 均 为 一 个 较 完整 的 圆 
柱状 点 云集 合 ， 使 茎 点 云 的 直线 特征 值 较 大 ， 同 
时 ， 也 不 会 过 多 地 降低 计算 效率 。r, 参 数 会 影响 
点 的 平面 特征 计算 结果 ， 进 而 改变 雄 穗 点 云 的 识 
别 结果 。 玉 米 叶片 的 平面 特征 具有 局 部 性 ， 即 整 
个 叶片 表面 呈现 较 明 显 的 弯曲 特征 ， 但 局 部 小 区 


域 是 较 平展 的 。 随 着 7, 值 的 增 大 ， 每 个 点 搜索 得 
到 的 邻 域 点 范围 会 增 大 ， 则 叶片 点 的 平面 性 特征 
值 会 增 大 ， 降 低 叶 片 点 和 雄 穗 点 之 间 的 平面 特征 
对 比 度 ， 因 此 产值 不 宜 过 大 。 由 于 顶部 子 区 域 包 
含 的 叶片 均 为 上 部 叶 的 叶 尖 区 域 , 该 区 域 叶 片 宽 
度 通 常 不 会 大 于 6.0 ecm， 同时 顶部 叶片 经 和 常 沿 着 
叶脉 卷曲 ， 因 此 x 值 要 小 于 3.0 ecm， 这样 才 能 尽 
可 能 地 保证 叶片 点 云 的 平面 特征 较 明显 。 但 过 小 
的 值 会 使 邻 域 点 个 数 过 少 ， 很 难 描述 局 部 区 域 
的 几何 特性 ， 降 低 平面 特征 计算 的 准确 性 ， 同 
时 ， 雄 穗 的 每 个 分 支 在 极 小 区 域内 也 可 能 会 呈现 
一 定 的 平面 特征 ， 因 此 要 保证 7, 值 不 能 小 于 雄 穗 
分 支 的 宽度 值 。 玉 米 雄 穗 每 个 分 广 的 宽度 通常 会 
小 于 1.0 cm， 因 此 产值 要 大 于 1.0 cm; 

本 研究 在 设 定 六 具体 参数 值 时 ， 针 对 每 一 
个 点 云 密度 的 植株 ， 均 从 ,= 1.0 cm 开始 进行 
参数 选择 测试 ， 按 照 间隔 0.1 cem 逐渐 增 大 x,， 直 
$| r, 23.0 cm。 选 择 分 制 效果 较 好 的 六 参数 进行 
计算 ， 当 多 个 参数 值 分 割 效果 差距 不 大 时 ， 选 择 
其 中 的 最 小 值 作为 7, 参数 ， 从 而 尽 可 能 地 减少 邻 
域 点 数量 ， 提 高 平面 特征 计算 效率 。 本 研究 通 
过 该 方式 确定 疡 值 ， 当 点 云 密度 = 0.8 个 /cm 时 ， 
rji 24cm; 点 云 密度 = 1.3 个 /cm 时 ,7, 设 为 
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1.8 cm; 点 云 密度 =1.9 个 /cm 时 ， 户 设 为 1.0 cmo 
随 着 点 云 密度 的 减少 ， 疡 参数 值 明显 增 大 ， 这 是 
由 于 点 云 密度 较 少 时 ， 为 了 找到 足够 多 的 邻 域 点 
描述 局 部 平面 特征 ， 需 要 增 大 邻 域 搜索 半径。 当 
给 定 一 个 新 密度 的 植株 点 云 时 ， 可 以 利用 本 研究 
给 出 的 , 值 作为 参考 提高 参数 选择 效率 。 例 如 ， 
如 果 植 株 点 云 密 度 为 1.6 个 /cm， 则 产值 可 在 点 
云 密度 为 1.9 和 1.3 个 /cm 的 参数 值 之 间 进 行 测 
试 ， 即 x, 值 从 1.0 cm 开始 进行 参数 选择 ， 按 照 间 
隔 0.1 cm 逐渐 增 大 ,到 1.8 cm. 


3.3 展望 


本 研究 算法 目前 不 能 较 好 地 处 理 雄 穗 被 叶片 
包 衰 住 或 距离 较 近 的 情况 ， 此 时 叶片 和 穗 之 间 的 
边界 点 云 的 法 向 量 和 平面 局 部 特征 非常 相似 ， 造 
Bay HUE PRE. Jin e P" 开发 了 基于 中 值 归 一 
化 向 量 的 区 域 生长 荃 叶 分 割 算法 ， 利 用 欧式 距离 
作为 特征 ， 采 用 启发 式 区域 增 长 策略 从 器 官 底部 
的 种 子 点 开始 ， 逐 步 将 器 官 点 云 进行 完整 分 割 ， 
该 方法 证 明了 上 距离 特征 在 玉米 器 官 分 割 时 的 有 效 
性 。 在 后 续 的 工作 中 ， 以 本 研究 分 制 出 的 穗 点 云 
作为 种 子 点 ， 结 合 基 于 距离 条 件 限 定 的 区 域 增 长 
方法 ， 有 望 优化 最 终 的 穗 点 云 分 制 结果 。 

本 研究 算法 只 能 对 单 株 玉米 植株 点 云 进行 雄 
穗 分 割 。 为 获得 单 株 点 云 ， 需 将 玉米 植株 移植 人 
盆 并 采用 激光 扫描 仪 手动 进行 数据 获取 ， 数 据 获 
取 效 率 低 。MVS Pheno 平 台 可 快速 、 自 动 地 获取 
不 用 角度 的 玉米 植株 图 像 ， 并 利用 运动 恢复 结构 
方法 获得 质量 较 好 地 玉米 单 株 点 云 2 。 下 一 步 
可 将 本 研究 方法 与 MVS Pheno 平 台 进 行 结合 ， 
加 快 雄 穗 表 型 检测 速度 。 


4 结论 


本 研究 提出 一 种 基于 超 体 素 聚 类 和 点 云 局 部 
特征 的 玉米 植株 三 维 点 云 雄 穗 分 割 方法 ， 验 证 了 
在 玉米 成 熟 期 植株 点 云 上 识别 、 分 割 雄 穗 的 可 能 
性 。 通 过 分 析 本 研究 试验 结果 ， 得 出 以 下 结论 。 

(1) 本 研究 方法 的 分 割 精度 随 植 株 点 云 密 


度 的 增 大 而 增加 。 当 点 云 密度 为 0.8、1.3 和 
1.9 个 /cm 时 ， 雄 穗 点 云 分 割 的 平均 Fl 分 数 分 别 
为 0.763、0.875 和 0.889。 

(2) 本 研究 算法 的 时 间 复 杂 度 为 O (n°), BG 
着 点 云 密度 和 点 云 数 量 的 增长 ， 算 法 的 运行 时 间 
会 显著 增加 。 

(3) 综合 考虑 分 割 精度 和 运行 时 间 ， 本 人 研究 
对 点 云 密度 为 1.3 个 /cm、 点 云 的 平均 数量 约 为 
15,000 的 成 熟 期 玉米 植株 点 云 处 理 效 果 最 好 ， 分 
市 Fl 分数 可 达到 0.875， 运 行 时间 为 6.85 so 

结果 表明 ， 本 研究 方法 具有 在 玉米 植株 散乱 
点 云 中 提取 雄 穗 点 云 的 能 力 ， 可 为 玉米 高 通 量 表 
型 检测 、 玉 米 三 维 重建 等 研究 和 应 用 提供 技术 
手段 。 


参考 文献 : 

[1] TESTER M, LANGRIDGE P. Breeding technologies 

to increase crop production in a changing world[J]. Sci- 

ence, 2010, 327: 818-822. 

DUNCAN W G, WILLIAMS W A, LOOMIS R S. Tas- 

sels and the productivity of maize[J]. Crop Science, 

1967, 7: 7-9. 

[3] MEGHJI M R, DUDLEY J W, LAMBERT R J, et al. 
Inbreeding depression, inbred and hybrid grain yields, 


[2 


[n 


and other traits of maize genotypes representing three 
eras[J]. Crop Science, 1984, 24(3): 545-549. 
BROWN P J, UPADYAYULA N, MAHONE G S, et 


al. Distinct genetic architectures for male and female 


[4 


[n 


inflorescence traits of maize[J]. PLoS Genet, 2011,7 
(11): ID e1002383. 

ZHANG Y, ZHANG N. Imaging technologies for plant 
high-throughput phenotyping: A review[J]. Frontiers of 


[5 


[n 


Agricultural Science and Engineering, 2018, 5(4): 
406-419. 

FERNANDA D M, GEMMA M, CAROLINA R A, et 
al. Yielding to the image: How phenotyping reproduc- 


[6 


m 


tive growth can assist crop improvement and produc- 
tion[J]. Plant Science, 2018, 282: 73-82. 

[7] GAGE J L, MILLER N D, SPALDING E P, et al. 
TIPS: A system for automated image-based phenotyp- 
ing of maize tassels[J]. Plant Methods, 2017, 13(1): 
27-32. 

[8] YE M, CAO Z, YU Z. An image-based approach for 


automatic detecting tasseling stage of maize using spa- 


84 


ChinaXiv 合 作 期 刊 


202302.00223v1 


chinaXiv 


[9] 


[10] 


[11] 


[12] 


[13] 


[14] 


[15] 


[16] 


[17] 


[18] 


tio-temporal saliency[C]// SPIE Conference on Multi- 
spectral Image Processing and Pattern Recognition. 
Washington, USA: SPIE Digital library, 2013. 
KURTULMU F, KAVDR S. Detecting corn tassels us- 
ing computer vision and support vector machines[J]. 
Expert Systems with Applications, 2014, 41(16): 7390- 
7397. 

LU H, CAO Z, XIAO Y, et al. Fine-grained maize tas- 
sel trait characterization with multi-view representa- 
tions[J]. Computers and Electronics in Agriculture, 
2015, 118: 143-158. 

LU H, CAO Z, XIAO Y, et al. TasselNet: Counting 
maize tassels in the wild via local counts regression 
network[J]. Plant Methods, 2017, 13(1):1-17. 
MAKANZA R, ZAMAN-ALLAH M, CAIRNS J E, et 
al. High-throughput method for ear phenotyping and 
kernel weight estimation in maize using ear digital im- 
aging[J]. Plant Methods, 2018, 15(1): ID 49. 

王 传 宇 , WIF, 吴 升 , 等 . 基于 计算 机 视觉 的 玉米 果 
PE — HE E E Zr v DJ]. 农业 机 械 学 报 , 2014, 45(9): 
274-279. 

WANG C, GUO X, WU S, et al. Three dimensional re- 
construction of maize ear based on computer vision[J]. 
Transactions of the CSAM, 2014, 45(9): 274-279. 

温 维 亮 , 郭 新 宇 , 杨涛 , 等 . 玉米 果穗 点 云 分 割 方法 研 
RI). 系统 仿真 学 报 , 2017, 29(12): 3030-3034, 3041. 
WEN W, GUO X, YANG T, et al. Point cloud segmen- 
tation method of maize ear[J]. Journal of System Simu- 
lation, 2017, 29(12): 3030-3034, 3041. 

温 维 亮 , 王 勇 健 , 许 童 羽 , 等 . 基于 三 维 点 云 的 玉米 果 
T& JL fuf 8 BE DJ]. 中 国 农业 科技 导报 , 2016, 18(5): 
88-93. 

WEN W, WANG Y, XU T, et al. Geometric model- 


ing of maize ear based on three-dimensional point 


cloud[J]. Journal of Agricultural Science and Technolo- 
gy, 2016, 18(5): 88-93. 

YU Z, ZHOU H, LI C. An image based automatic rec- 
ognition method for the flowering stage of maize[C]// 
International Symposium on Multispectral Image Pro- 
cessing and Pattern Recognition. Washington, USA: 
SPIE Digital library, 2019. 

BRICHET N, FOURNIER C, TURC O, et al. A robot- 
assisted imaging pipeline for tracking the growths of 
maize ear and silks in a high-throughput phenotyping 
platform[J]. Plant Methods, 2017, 13(1): ID 96. 

JIA H, QU M H, WANG G, et al. Dough-stage maize 
(Zea mays L.) ear recognition based on multiscale hier- 
archical features and multifeature fusion[J]. Mathemati- 
cal Problems in Engineering, 2020, 2020(2) ID 


[19] 


[20] 


[21] 


[22] 


[23] 


[24] 


[25] 


[26] 


[27] 


[28] 


[29] 


[30] 


5582598. 

PAULUS S, SCHUMANN H, KUHLMANN H, et 
al. High-precision laser scanning system for captur- 
ing 3D plant architecture and analysing growth of cere- 
al plants[J]. Biosystems Engineering, 2014, 121: 1-11. 
PAULUS S, DUPUIS, J, RIEDEL, S, et al. Automated 
analysis of barley organs using 3D laser scanning: An 
approach for high throughput phenotyping[J]. Sensors, 
2014, 14(7): 12670-12686. 

CHENE Y, ROUSSEAU D, LUCIDARME P, et al. On 
the use of depth camera for 3D phenotyping of entire 
plants[J]. Computers and Electronics in Agriculture, 
2012, 82: 122-127. 

BUSEMEYER L, MENTRUP D, MOLLER K, et al. 
BreedVision—A multi-sensor platform for non-destruc- 
tive field-based phenotyping in plant breeding[J]. Sen- 
sors, 2013, 13(3): 2830-2847. 

LIN Y. LiDAR: An important tool for next-generation 
phenotyping technology of high potential for plant phe- 
nomics? [J]. Computers and Electronics in Agriculture, 
2015, 119: 61-73. 

GARRIDO M, PARAFOROS D S, REISER D, et al. 
3D maize plant reconstruction based on georeferenced 
overlapping lidar point clouds[J]. Remote Sensing, 
2015, 7(12): 17077-17096. 

韩 东 , Vo PATE, 杨 浩 , 等 . 基于 立体 视觉 的 玉米 雄 穗 三 
维 信息 提取 中 . 农业 工程 学 报 , 2018, 34(11): 166-173. 
HAN D, YANG G, YANG H, et al. Three dimensional 


information extraction from maize tassel based on ste- 


reoscopic vision[J]. Transactions of the CSAE, 2018, 
34(11): 166-173. 

MILLER F P, VANDOME A F, MCBREWSTER J. 
KD-TREE[M]. San Francisco, California, USA: Alpha 
Press, 2009. 

RUSU R B, COUSINS S. 3D is here: Point cloud li- 
brary (PCL)[C]// IEEE International Conference on Ro- 
botics & Automation. New Jersey, USA: IEEE Press, 
2011. 

GROTH D, HARTMANN S, KLIE S, et al. Principal 
components analysis[J]. Methods in Molecular Biolo- 
gy, 2013, 930: 527-547. 

XIANG L, BAO Y, TANG L, et al. Automated morpho- 
logical traits extraction for sorghum plants via 3D 
point cloud data analysis[J]. Computers and Electron- 
ics in Agriculture, 2019, 162: 951-961. 

Ji K, 张 漫 , BIE, 等. 基于 RGB-D 相机 的 玉米 茎 
粗 测 量 方法 中. 农业 工程 学 报 , 2017, 33(S1): 170-176. 
QIU R, ZHANG M, WEI S, et al. Method for mea- 
surement of maize stem diameters based on RGB-D 


liz 


ChinaXiv 合 作 期 刊 


202302.00223v1 


chinaXiv 


85 

camera[J]. Transactions of the CSAE, 2017, 33(S1): science and Remote Sensing, 2019, 57(3): 1336-1346. 
170-176. [32] WU S, WEN W, WANG Y, et al. MVS-Pheno: A porta- 
[31] JIN S, SU Y, WU F, et al. Stem-leaf segmentation and ble and low-cost phenotyping platform for maize 
phenotypic trait extraction of individual maize using shoots using multiview stereo 3D reconstruction[J]. 


terrestrial LiDAR data[J]. IEEE Transactions on Geo- Plant Phenomics. 2020, 2020(2): ID 1848437. 


Tassel Segmentation of Maize Point Cloud Based on 
Super Voxels Clustering and Local Features 
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Abstract: Accurate and high-throughput maize plant phenotyping is vital for crop breeding and cultivation research. Tassel-relat- 
ed phenotypic parameters are important agronomic traits. However, fully automatic and fine tassel organ segmentation of maize 
shoots from three-dimensional (3D) point clouds is still challenging. To address this issue, a tassel point cloud segmentation 
method based on point cloud super voxels clustering and local geometric features was proposed in this study. Firstly, the undi- 
rected graph of the maize plant point cloud was established, the edge weights were calculated by using the difference of normal 
vectors, and the spectral clustering method was used to cluster the point cloud to form multiple super voxel sub-regions. Then, 
the principal component analysis method was used to find the two end regions of the plant and based on the observation of the 
straight direction of the bottom stem regions, the top and bottom regions were distinguished by the point cloud linear features. 
Finally, the tassel points were identified based on the plane local features of the point cloud. The sub-regions of the top re- 
gion of the plant were classified into leaf regions, tassel regions, and mixed regions by plane local features of the point 
cloud, the tassel points in the tassel sub-region, and the mixed region were the finally segmented tassel point clouds. In this 
study, 15 mature maize plants with 3 point cloud densities were tested. Compared with the ground truth segmented manual- 
ly, the average F1 scores of the tassel segmentation were 0.763, 0.875 and 0.889 when the point cloud density was 0.8/cm, 
1.3/cm, and 1.9/cm, respectively. The segmentation accuracy of this method increased with the increase of plant point cloud den- 
sity. The increase of point cloud density and the number of point clouds mainly affected the calculation results of point cloud 
plane features in tassel segmentation. When the number of point clouds was small, the top leaf point cloud was relatively sparse. 
Therefore, the difference between the plane feature of the leaf point and the plane feature of the tassel point was not obvious, 
which led to the increase of the misclassification of the point cloud. However, the time complexity of the algorithm was O(n’), 
so the increase in the density and number of point clouds would lead to a significant increase in the running time. Considering 
the segmentation accuracy and running time, the research obtained the best effect on the mature maize plants with a point cloud 
density of 1.3/cm and an average number of 15,000. The segmentation F1 score reached 0.875 and the running time was 6.85 s. 
The results showed that this method could extract tassels from maize plant point cloud, and provided technical support for the 
research and application of high-throughput phenotyping and three-dimensional reconstruction of maize. 
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